Meta发表基于大模型的视频剪辑工具 LAVE，开始使用 Agent 剪视频了！
论文地址：https://arxiv.org/pdf/2402.10294.pdf
摘要
简介
相关工作
大语言模型和代理
本文介绍了基于大规模语言模型（LLMs）的智能代理技术在交互式视频编辑中的应用。LLMs可以通过prompting技术适应新任务，具有高效性和适应性。先前的研究已经探索了使用LLMs开发代理与各种环境进行自主交互的可能性。本文提出了一种代理架构，可以根据用户的指令计划和执行相关的编辑操作。
人类和AI共同创造
AI在创作过程中的应用越来越广泛，涵盖了故事写作、音乐创作、漫画创作和游戏设计等领域。虽然AI可以提升用户的创造能力，但也带来了一些挑战和问题，如用户代理和信任、创作的真实性、潜在的创作偏见以及所有权和归属问题。本研究通过开发一个新的基于LLM的视频编辑AI系统，并通过LAVE的视角研究用户与该系统的交互动态，探讨了这种编辑范式的机遇和挑战。
设计目标
LAVE用户界面
- LAVE编辑代理提供了两种视频剪辑功能：基于LLM的剪辑和手动剪辑。
- 基于LLM的剪辑可以根据用户的指令提取视频片段，指令可以是自由形式的，可以涉及视频的语义内容或具体的剪辑细节。
- LLM还会解释其剪辑的理由，以保证透明度。
- 手动剪辑允许用户通过点击缩略图来定义剪辑的起始和结束点，并可以对基于LLM的剪辑进行微调。
- 视频概述：代理人可以根据主题或话题对用户提供的视频进行分类，帮助用户更好地编辑视频。
- 创意头脑风暴：代理人可以根据用户提供的视频帮助用户产生编辑创意，也可以根据用户的指导进行创意头脑风暴。
- 视频检索：代理人可以根据语言查询帮助用户检索相关视频，提高检索效率。
- 故事板：代理人可以根据用户提供的故事情节帮助用户对视频进行排序，也可以自动生成故事情节。
后端系统
用户分析
总结
LAVE是一个视频编辑工具，通过LLM技术提供智能辅助和语言增强功能。我们介绍了该系统的设计和实现，以及支持的功能和语言增强特性。通过用户研究，我们评估了LAVE的有效性，并了解了用户对LLM辅助视频编辑的感知和反应。根据研究结果，我们提出了设计建议，以指导未来类似系统的设计。我们的工作为代理辅助媒体内容编辑工具的未来发展提供了启示。我们对这个方向持乐观态度，并相信我们只是开始了探索的表面。